Thấy Viên Thượng chạy về Trung Sơn, Viên Đàm lại từ Thanh châu mang quân tới chiếm mấy huyện Ký châu và đánh Trung Sơn. Viên Thượng thua trận bỏ chạy sang Tinh châu định nương nhờ anh họ Cao Cán, nhưng Cao Cán đã trở mặt hàng Tào Tháo, vì thế ông phải chạy về U châu theo anh hai Viên Hy.

Đầu năm 205, Tào Tháo đánh hạ Thanh châu diệt Viên Đàm rồi mang quân tới U châu. Hai bộ tướng của Viên Hy là Tiêu Xúc, Trương Nam phản lại họ Viên, hợp tác với Tào Tháo. Viên Hy và Viên Thượng không giữ nổi U châu, phải bỏ chạy lên phía bắc tới Liễu Thành nương nhờ Thiền vu Đạp Đốn của Ô Hoàn, sau đó lại cùng Đạp Đốn liên kết với Thiền vu Ô Diên ở Hữu Bắc Bình là Tô Bộc Diên.

Tháng 10 năm 205, Tào Tháo tiến quân đánh Ô Hoàn. Anh em Viên Thượng hợp binh với Đạp Đốn đối trận với Tào Tháo ở núi Bạch Lang. Tướng tiên phong của Tào Tháo là Trương Liêu mang quân tới phá tan quân Ô Hoàn. Anh em Viên Thượng cùng Ô Hoàn chạy ra ngoài Trường Thành.

Sang tháng 8 năm 206, Tào Tháo tiếp tục truy kích, đánh thắng 1 trận nữa, giết chết Đạp Đốn. Viên Thượng, Viên Hy và Tô Bộc Diên mang tàn quân chạy đến Liêu Đông nương nhờ thủ lĩnh Công Tôn Khang.

Tào Tháo tính toán rằng nếu mang quân truy kích quá gắt gao, Công Tôn Khang sẽ nghi ngờ họ Tào có ý thôn tính luôn Liêu Đông, sẽ liên kết với họ Viên. Vì vậy Tào Tháo theo lời Quách Gia, chủ động rút quân từ Liễu Thành về nam. Tào Tháo rút lui khỏi Liễu Thành về nam trong hoàn cảnh rất gian khổ. Khi đó ở phía bắc rất lạnh, quân Tào nhiều người bị rét cóng; toàn quân đi 200 dặm không có nước; quân Tào phải giết vài ngàn con ngựa ăn mới về tới khu vực có lúa của người Hán. Các nhà sử học Trung Quốc nêu giả thiết, nếu Viên Hy và Viên Thượng biết được tình cảnh thê thảm đó của quân Tào mà dẫn tàn quân truy kích thì chưa biết tình hình sẽ ra sao[5].

Công Tôn Khang yên tâm về thái độ của Tào Tháo không muốn tấn công lên Liêu Đông, bèn chủ định giết anh em họ Viên để cầu hòa với Tào Tháo.

Khi Viên Hy, Viên Thượng và Tô Bộc Diên chạy tới Liêu Đông, Công Tôn Khang cho quân đao phủ mai phục rồi mới mời vào. Anh em họ Viên cùng Tô Bộc Diên vừa làm lễ, Công Tôn Khang bèn hô đao phủ xông ra bắt trói rồi chém đầu. Công Tôn Khang sai quân mang 3 đầu lâu tới huyện Nghiệp dâng Tào Tháo và được phong chức.

Cả ba anh em Viên Thượng và Cao Cán cuối cùng đều bị Tào Tháo tiêu diệt, toàn bộ Hà Bắc thuộc về Tào Tháo.